演化策略(ES)的核心机制:变异主导与选择算子
演化策略 (Evolutionary Strategies, ES) 是一种受生物演化启发的启发式搜索算法,主要应用于连续空间的参数优化。与遗传算法(GA)相比,ES 在算子设计和演化哲学上有显著差异。
核心机制:变异主导 (Mutation-Dominant)
- 在 ES 中,变异 是产生新个体的核心算子,而重组(交叉)通常被视为次要或可选算子。
- 强因果性原则 (Strong Causality): 基因型空间的微小变化应导致表现型(目标函数值)的相应微小变化。这要求变异算子遵循均值为 0 的正态分布:$x' = x + \mathcal{N}(0, \sigma^2)$。
- 策略参数 ($\sigma$): 指变异的步长。ES 的独特之处在于 $\sigma$ 本身也参与演化,实现自适应搜索。
选择算子:$(\mu, \lambda)$ 与 $(\mu + \lambda)$
- $(\mu, \lambda)$ 选择: 从 $\lambda$ 个子代中选择 $\mu$ 个最优个体作为下一代父本,完全抛弃父代。这种方式有利于逃离局部最优。
- $(\mu + \lambda)$ 选择: 从 $\mu$ 个父代和 $\lambda$ 个子代构成的集合中选择前 $\mu$ 个最优个体。这是一种精英保留策略,保证了算法的单调收敛性。
1/5 成功规则 (1/5 Success Rule)
一种经典的参数自适应准则:如果成功变异(子代优于父代)的比例大于 1/5,则增加步长 $\sigma$ 以加快搜索;反之则减小步长以提高局部精度。